Van een aanwezigheid van een kasteel in Ittre werd al melding gemaakt begin 14de eeuw. In 1578 werd dit kasteel in brand gestoken en pas in 1632 terug opgebouwd door Florent Rifflart.
In tegenstelling tot het oude kasteel dat beneden stond, ter hoogte van de weg, en verwoest werd in 1875, werd op verzoek van Albert Smet, voorzitter van AG en burgemeester van Ittre, in 1885 op een heuvel het huidige kasteel gebouwd. Het château d’Ittre werd gebouwd in baksteen en natuursteen, naar de plannen van architect Henri Maquet, die ook de gevel van het koninklijk paleis tekende, en bestaat uit een centraal gedeelte met drie bogen en twee torens. Het park is ontworpen in 1884 en is het werk van Louis Fuchs, van oorsprong Duits landschapsarchitect die in de 19de eeuw uitgroeide tot één van de drie belangrijkste Belgische tuin- en parkarchitecten.